Rasulullah s.a.w. dalam merangka piagam Madinah atau di kenali sebagai perlembagaan madinah, beliau telah mengikut bimbingan wahyu dan berdasarkan norma-norma masyarakat Madinah ketika itu. Terdapat tiga langkah yang diambil oleh Rasulullah dalam membentuk piagam Madinah.

Langkah pertama

Dilakukan oleh Rasulullah dengan mendirikan sebuah masjid sebagai tempat orang Islam beribadat dan tempat Rasulullah menyampaikan ajaran Islam serta tempat pentadbiran Rasulullah.

Langkah kedua

Mengikat tali persaudaraan antara kaum Ansar dan Muhajirin, bagi mewujudkan persefahaman dan untuk membantu kaum Muhajirin memulakan hidup baru dengan pertolongan kaum Ansar.

Langkah ketiga

Mengadakan perjanjian dengan orang Yahudi supaya sama-sama mempertahankan Madinah dari ancaman luar.

Berdasarkan langkah-langkah tersebut maka lahirlah satu perjanjian yang dikenali sebagai piagam Madinah. Perkara utama yang terkandung dalam Piagam Madinah adalah:

• Nabi Muhammad s.a.w. adalah ketua negara untuk semua penduduk Madinah dan segala pertelingkaran hendaklah merujuk kepada baginda.
• Semua penduduk Madinah ditegah bermusuhan atau menanam hasad dengki sesama sendiri, sebaliknya mereka hendaklah bersatu dalam satu bangsa iaitu bangsa Madinah.
• Semua penduduk Madinah bebas mengamal adat istiadat upacara keagamaan masing-masing.
• Semua penduduk Madinah hendaklah bekerjasama dalam masalah ekonomi dan mempertahankan Kota Madinah dari serangan oleh musuh-musuh dari luar Madinah.
• Keselamatan orang Yahudi adalah terjamin selagi mereka taat kepada perjanjian yang tercatat dalam piagam tersebut,